自然语言处理中的许多作品都显示了一个人的个人话语和他们的个性，人口统计学和心理健康之间的联系。然而，许多预测这种人类特征的机器学习模型尚未充分考虑预先接受训练的语言模型和上下文嵌入的作用。使用人的抑郁程度作为案例研究，我们对哪个实证分析有关哪种现成语言模型，单层和层的组合在应用于人级NLP任务时最有希望。特别是，尽管在过去的工作中的标准建议使用二对大或后4层的工作，但我们发现第19层（第六次）是最受理想的，而使用多层时，分发它们24层的下半部分（即层12+）是最好的。

许多自然语言处理专注于利用大容量语言模型，通常通过单个消息培训，这是预测一个或多个令牌的任务。然而，探讨了在更高层次的上下文中建模人类语言（即消息序列）。在姿态检测和其他社交媒体任务中，目标是预测消息的属性，我们具有由作者松散地连接的上下文数据。在这里，我们介绍了消息级变换器（MELT） - 通过Twitter预先培训并应用于姿态预测的任务的分层消息编码器。我们专注于立场预测，因为从知道消息的上下文中受益（即，先前消息的序列）。该模型使用屏蔽语言建模的变体培训;其中代替预测令牌，它试图通过重建损耗来生成整个掩码（聚合）消息向量。我们发现将该预训练的屏蔽消息级变压器应用于姿态检测的下游任务，实现了67％的F1性能。

社交媒体越来越多地用于大规模的人口预测，例如估计社区健康统计数据。但是，社交媒体用户通常不是预期人群的代表性样本 - “选择偏见”。在社会科学中，这种偏见通常是通过约束技术解决的，在这种偏见的情况下，根据其社会人口统计学群体的不足或过度采样，将观察结果重新恢复。然而，很少评估约束性以改善预测。在这项两部分的研究中，我们首先评估了标准“现成”的限制技术，发现它们在四个从Twitter中介绍美国县人口健康统计数据的四个任务中没有提供任何改进，甚至通常会退化预测准确性。降级表现的核心原因似乎与他们对每个人群社会人口统计学的稀疏或缩减估计的依赖有关。在研究的第二部分中，我们开发和评估了强大的阶段化后，该方法包括解决这些问题的三种方法：（1）估算器重新分布以说明缩小的缩小，以及（2）自适应式嵌套和（3）告知平滑为处理稀疏的社会人口统计学估计。我们表明，这些方法中的每一种都会导致预测准确性比标准限制方法显着改善。综上所述，强大的后阶段能够实现最先进的预测准确性，在调查的生活满意度的情况下，解释的方差（R^2）增加了53.0％，所有任务的平均平均值增加了17.8％。

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.

通用数据模型解决了标准化电子健康记录（EHR）数据的许多挑战，但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论（OBO）铸造本体论提供了可用于生物学知识的语义计算表示，并能够整合多种生物医学数据。但是，将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架，用于将观察性医学成果合作伙伴关系（OMOP）标准词汇介绍给OBO铸造本体。使用此框架，我们制作了92,367条条件，8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性，并且在24家医院进行检查时，映射覆盖了99％的条件和药物成分和68％的测量结果。最后，我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。

我们介绍了StreamNet，这是一种自动编码器体系结构，用于分析大量白质流线的高度异质几何形状。该提出的框架利用了Wasserstein-1度量的几何形状赋值特性，以实现整个流线束的直接编码和重建。我们表明，该模型不仅可以准确捕获人群中流线的分布结构，而且还能够在真实和合成流线之间实现出色的重建性能。使用最新的ART捆绑包比较度量标准，对40个健康对照的T1加权扩散成像产生的白质流线评估了实验模型性能。

从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。

有效地对远程依赖性建模是序列建模的重要目标。最近，使用结构化状态空间序列（S4）层的模型在许多远程任务上实现了最先进的性能。 S4层将线性状态空间模型（SSM）与深度学习技术结合在一起，并利用HIPPO框架进行在线功能近似以实现高性能。但是，该框架导致了架构约束和计算困难，使S4方法变得复杂，可以理解和实施。我们重新审视这样的想法，即遵循河马框架对于高性能是必要的。具体而言，我们替换了许多独立的单输入单输出（SISO）SSM的库S4层与一个多输入的多输出（MIMO）SSM一起使用，并具有降低的潜在尺寸。 MIMO系统的缩小潜在维度允许使用有效的并行扫描，从而简化了将S5层应用于序列到序列转换所需的计算。此外，我们将S5 SSM的状态矩阵初始化，其近似与S4 SSMS使用的河马级矩阵近似，并表明这是MIMO设置的有效初始化。 S5与S4在远程任务上的表现相匹配，包括在远程竞技场基准的套件中平均达到82.46％，而S4的80.48％和最佳的变压器变体的61.41％。

传统的视听模型具有独立的音频和视频分支。我们设计了一个统一的音频和视频处理模型，称为统一音频 - 视听模型（UAVM）。在本文中，我们描述了UAVM，报告其在VGGSOUND上的新最新音频事件分类精度为65.8％，并描述模型的有趣属性。